MATHÉMATIQUES (FONDEMENTS DES)

MATHÉMATIQUES (FONDEMENTS DES)

Au sens premier et fort, le mot «fondement» désigne la base, jugée inébranlable, sur laquelle repose un corps d’énoncés, un système de connaissances, un complexe de croyances ou de conduites. «Reposer sur la base» signifie ici «trouver en elle à la fois son origine et sa raison». Point fixe à partir de quoi l’on explique et déploie, région originaire où prend racine le riche contenu de l’expérience instruite, tel apparaît le sens fort de l’expression «fondement». À prendre le mot en ce sens, la question du «fondement des mathématiques» déboucherait sur un problème métaphysique. Elle consisterait à se demander: Pourquoi existe-t-il une mathesis ? De quelle région de l’Être le mathématicien instaure-t-il son discours? Dans quels champs d’objets se déploient et de quelle origine sont les enchaînements opératoires qui, dans leur ordonnance réglée, manifestent les êtres et les propriétés mathématiques? Sur ces questions, de Pythagore à Husserl (pour fixer deux bornes), la tradition philosophique n’a pas été avare de paroles. Il s’en faut.

Depuis un demi-siècle cependant, l’expression «fondements des mathématiques» a acquis un sens plus restreint et plus précis. C’est en vain, par exemple, que l’on chercherait dans le monumental ouvrage de David Hilbert et Paul Bernays, Grundlagen der Mathematik , un discours philosophique apportant aux questions que nous venons de poser une réponse organiquement développée. En revanche, on y trouve l’exposé d’un ensemble de méthodes mathématiques propres (tel était du moins le projet des auteurs) à assurer la validité des enchaînements démonstratifs que proposent les mathématiques effectivement produites. Les méthodes employées débouchent, certes, sur une conception des mathématiques, sur une interprétation de la nature de leurs objets et de leurs opérations. Mais ni cette conception ni cette interprétation ne sont strictement requises pour la mise en œuvre des méthodes elles-mêmes.

C’est en ce sens restreint que nous prendrons ici l’expression «fondements des mathématiques», entendant par là le système des énoncés, objets d’une théorie explicite, propres à assurer les démarches démonstratives dont l’enchaînement constitue le tissu de la mathématique.

Historiquement, on peut dater du Begriffsschrift de Gottlob Frege (1879) le moment où un tel projet a été conçu dans sa pleine autonomie et où a été produit pour la première fois un système théorique capable d’en préciser le concept et d’en permettre la mise en œuvre.

Mais si, sur ce point, l’«histoire» commence avec Frege, la «préhistoire» n’est pas négligeable. La «démonstration» mathématique a été l’objet de discours fort anciens. Et si, pendant longtemps, ces discours n’ont pas été produits dans la forme mathématique, ils n’en ont pas moins ouvert le champ des problèmes, manifesté les polarités élémentaires, en fonction desquels (et en partie contre lesquels) s’est posée ouvertement, et en son domaine théorique propre, la question des fondements.

Comment s’est dégagé ce domaine théorique? Dans quelle configuration de la mathématique, dans quel champ conceptuel et pour quelles espèces de problèmes s’est-il manifesté? Pour répondre à cette question, il importe de voir comment, au lever du rideau, à la veille de la création frégienne, s’était noué le lien entre les protagonistes, à vrai dire déjà anciens, de la pièce qui va se jouer.

1. La tradition, de Platon à Descartes

La pièce est construite sur une situation triangulaire où deux personnages élaborent les stratégies de nature à s’assurer le contrôle exclusif d’un troisième qui, de son côté, pour préserver son autonomie, essaye tour à tour de contrôler les deux autres. Philosophie, Logique, Mathématique, tels sont ici les noms traditionnels de nos personnages. Ils sont à peu près du même âge, si l’on juge de l’âge par la date de naissance. Mais l’un d’eux, la Mathématique, jouit d’un privilège étrange: celui d’être d’autant plus jeune qu’il est plus vieux.

Dans ce mouvement qui, éloignant la mathématique du point supposé de sa naissance (un Thalès mythique), l’a rajeunie sans cesse, trois totalités conceptuelles ont été tour à tour brisées, dans lesquelles, pour un temps, Philosophie, Mathématique et Logique s’étaient trouvées rassemblées dans l’unité d’une vision pacifiante.

Le platonisme

D’abord le platonisme, qui avait intégré logique et mathématique à leur place, dans le mouvement un (dialectique) qui déploie la connaissance de l’Être en son éternité et sa vérité. Seule la «dialectique» installée dans la vision de l’Être en manifeste les articulations fondamentales. Elle constitue, au sens fort, la logique comme manifestation du vrai en son surgissement premier et «anhypothétique». Dans ce mouvement d’intégration, la mathématique est deux fois située. Elle est d’abord sur le chemin qui conduit à l’Être: telle est la mathématique des «mathématiciens», celle de Théodore, de Théétète, d’Eudoxe; moment d’ascèse, d’une part, qui arrache la pensée au poids des réalités sensibles et lui apprend, à partir d’hypothèses appropriées, à maîtriser les propriétés intelligibles et à distinguer les essences (cf. La République , 525 a-526 a); mais, d’autre part (cf. La République , 510 a-511 d), accès à une espèce d’objet, de statut intermédiaire entre le sensible et les Idées. En second lieu, la mathématique, transfigurée, est située au cœur des Idées elles-mêmes. Ce n’est plus la mathématique du géomètre ordinaire, mais celle du dialecticien qui, installé dans la vision de l’Être (noèsis ), y voit se manifester les rapports structuraux (Nombres-Idées) qui règlent l’économie du monde intelligible; il y a peut-être une allusion à ce point dans La République , 525 d, lignes 4-5: la pratique de l’arithmétique «porte l’âme vers le haut et la force à saisir par la dialectique les propriétés des nombres eux-mêmes, 神﨎福晴 見羽精諸益 精諸益 見福精猪諸益 見益見塚見﨣﨎晴 嗀晴見凞﨎塚﨎靖見晴». Tel est le lieu du fondement. La mathématique qui est sur le chemin, celle des géomètres, est comme un écho fidèle mais assourdi d’une mathesis essentielle. Cette mathesis est en même temps la vraie logique de l’Être. Seul la connaît celui qui a su se servir de la géométrie pour délier le nœud qui l’attache à ce monde et voir en elle le signe qui le portera à franchir la dernière étape. Que cette configuration conceptuelle ait longtemps survécu (une fois arrachée à son lieu d’origine), au point d’animer encore en notre siècle certaines philosophies des mathématiques (cf. en particulier celle du philosophe français Albert Lautman), voilà qui témoigne sans doute sinon du statut des objets mathématiques, du moins de leur mode de manifestation. Le jeu opératoire y paraît astreint et préalablement normé par la structure des êtres que les opérations concernent. Mais il importe de remarquer que, une fois déchargé de son poids ontologique, le platonisme est brisé, c’est-à-dire qu’il est ineffectuable au lieu où il a été effectué, celui du dévoilement initial et fondateur de l’Être en sa vérité, de l’Être séparé du monde tangible où nous sommes.

Aristote

Aristote a été l’initiateur de la seconde forme de conceptualisation. En ce qui nous concerne, il faut retenir deux points.

La libération des mathématiques du champ de l’ontologie , d’abord. Les êtres mathématiques ne sont plus des réalités intelligibles et subsistantes: ils sont le résultat d’un procès d’abstraction (nous dirions aujourd’hui des «objets idéaux»). L’erreur de Platon a été de ne pas voir que les «formes» ne sont séparables que logiquement ( 見精見礼塚礼益) des substances concrètes en lesquelles elles résident.

La constitution de la logique en discipline autonome , d’autre part. C’est là un point décisif. En dépit des limitations que la postérité a notées dans l’édifice des Premiers Analytiques , Aristote a dégagé les formes logiques dans leur généralité de principe. L’usage qu’il fait des variables lui permet de traiter les modes d’enchaînements démonstratifs et de tester leur validité indépendamment du contenu des objets que les variables désignent. La logique apparaît ainsi non seulement comme un organon , un instrument propre à définir les règles d’admission du vrai, mais aussi comme une science ayant un objet spécifique: les formes de démonstration. Il reste que le projet explicite d’Aristote n’a pas été de construire un système logique capable de récupérer, en son champ propre, tous les protocoles de démonstration à l’œuvre dans les mathématiques de son temps, et d’en assurer par là le «fondement». L’appareil de la syllogistique se déploie en un système autonome qui coexiste avec les mathématiques sans que jamais se pose comme effectuable la tâche d’avoir à y reproduire, dans les formes que ce système désigne, les modalités d’enchaînements que les géomètres utilisent. Tout au plus, et sur certains points, les mathématiques constituent-elles, pour Aristote, une source d’exemples et, parfois, d’embarras. Ainsi, dans un passage des Premiers Analytiques (livre I, chap. XXXV, p. 48 a, lignes 30-40), il indique qu’il est difficile de réduire à la forme syllogistique les raisonnements dans lesquels le moyen terme n’est pas un nom d’individu mais une phrase (logon ), circonstance qui est, en mathématiques, des plus ordinaires. Il est cependant probable que la théorie de la démonstration produite dans les Seconds Analytiques (livre II) n’a pas été sans influencer les rédacteurs du corpus mathématique et qu’elle a contribué au moins à rendre plus ferme et mieux assurée l’idée d’enchaîner les énoncés en un système déductif, même si l’appareil de la syllogistique s’est trouvé incapable de fournir les moyens de construire un tel système. Et, de fait, la constitution de l’édifice euclidien témoigne pour l’autonomie de la mathématique. Celle-ci s’établit en son champ comme un système déductif reposant sur un matériau initial, explicitement défini, de concepts et de principes. La validité des énoncés produits dans ce système est libérée des modes de justification ontologique qui confèrent leur statut aux concepts initiaux. Ces modes de justification sont l’objet d’un autre discours, hétérogène aux enchaînements mathématiques eux-mêmes. Cette positivité du discours mathématique, qui se referme sur ses propres normes, laisse en dehors d’elle une autre positivité, celle de la syllogistique, qui se déploiera parallèlement, pour son propre compte. La belle totalité platonisante paraît démembrée, et les personnages de notre drame, Philosophie, Logique, Mathématique, sont désormais, et pour un temps, disjoints.

L’évidence cartésienne

On sait qu’à l’âge classique se rétablira, autour du concept de l’entendement cartésien, une unité provisoire. Les Règles pour la direction de l’esprit et le Discours de la méthode constituent, dans l’esprit de Descartes, la charte de la nouvelle mathesis. Dans ce mouvement, l’appareil traditionnel de la logique paraît frappé de nullité. Il est laissé à son sort, puisque, depuis l’Antiquité, il s’est révélé incapable de s’articuler sur la mathématique vivante. L’entendement cartésien n’est pas producteur de formes logiques; il est, dans l’immédiateté des idées qui le composent, vision des essences. La validité d’un énoncé de statut démonstratif se mesure alors à la possibilité, manifeste en son contenu, d’effectuer la réduction qui ramène à un jeu de relations simples entre segments intuitifs simples («les natures simples») les idées qui sont enchaînées en lui. La sûreté de la déduction ne tient pas à la stricte observance de règles formelles. Elle tient à ceci qu’elle est, dans le temps, la réalisation d’une chaîne d’évidences dont les relations doivent, en chaque point de la chaîne, pouvoir elles-mêmes être rendues évidentes. Les signes dont les mathématiciens se servent (les symboles) apparaissent alors comme des indications abrégées dont la fonction est de montrer à la pensée qui opère le chemin vers cette réduction. Mais, si un énoncé n’est qu’une expression de relations d’idées, les idées elles-mêmes sont, dans l’entendement, une configuration inerte, dont toute la fonction est de représentation. Une idée ne peut être dite «vraie» que dans la mesure où son contenu (sa réalité «objective», dans le langage cartésien) épuise entièrement, sans y laisser le moindre résidu, l’essence dont elle est la représentation. C’est le propre des essences mathématiques de pouvoir ainsi être livrées sans résidu, d’être constituées de «natures simples», objets d’intuition intellectuelle. Le «fondement» des mathématiques tient donc à la nature de leurs objets, et la «logique» véritable n’est rien d’autre ici que l’ensemble des règles immanentes qui permettent de réaliser, dans l’exercice de la pensée, dans la production des énoncés (la formulation des «jugements», en langage cartésien), une constante fidélité aux lois de constitution des objets d’entendement. De là cette conséquence que les propositions prises comme axiomes (les «hypothèses» qui servent de base à la construction déductive) le sont en vertu d’un caractère intrinsèque. Leur caractère «indémontrable» ne renvoie nullement à un manque. Tout au contraire: il est la marque de l’adéquation, saisie dans l’intuition, des configurations d’entendement (les idées) qui les composent à l’essence que ces configurations représentent.

Il importe ici de retenir deux points, importants pour la suite de notre propos.

L’autonomie de la mathématique, déjà acquise dans le corpus euclidien, est ici confirmée. La mathématique est vraie en vertu de la nature des êtres qui constituent son domaine spécifique. La «méthode» n’est rien d’autre que la fidélité à l’objet. Productrice de ses normes en une région exemplaire, où l’idée peut épuiser l’essence, la mathématique constitue ainsi la source du nouvel organon , qui est destiné à remplacer la syllogistique exténuée.

Symétriquement, la logique, telle qu’elle avait été produite par Aristote en son champ propre, est expulsée. À vrai dire, elle n’a plus d’objet, sinon en ce lieu stérile où l’École la répète. L’étroitesse de la syllogistique apparaît en toute clarté. Si bien que se pose alors la question: La mathématique suffira-t-elle à produire ses propres normes? L’évidence qui s’attache à son matériau de base annonce-t-elle pour toujours l’autonomie des mathématiques par rapport à toute logique? Est-ce bien là le fruit de la philosophie d’entendement? Ou bien, loin d’être à jamais expulsée, la logique ne doit-elle pas, dans cette mathesis en devenir, retrouver son champ spécifique?

2. La recherche de la rigueur

Déjà au siècle de Descartes apparaissent de graves discordances. Pascal d’abord. Dans son opuscule De l’esprit géométrique , il a défini, d’une manière informelle, les règles constitutives d’un système déductif. Bien qu’il parle encore le langage cartésien («ne demander en axiomes que des choses parfaitement évidentes d’elles-mêmes»), Pascal n’en conçoit pas moins une science démonstrative comme un système d’écritures explicites, dans lequel tous les termes doivent être définis, les règles de démonstration clairement conçues et rigoureusement respectées. L’évidence cartésienne est ici réduite à la portion congrue. On n’entreprendra pas de démontrer «aucune des choses qui sont tellement évidentes d’elles-mêmes qu’on n’a rien de plus clair pour les prouver». Mais toute proposition «un peu obscure» devra être démontrée. Et la démonstration ne devra utiliser que «des axiomes ou des propositions déjà accordées ou démontrées». De plus, il importe de veiller, dans le déroulement de la démonstration, à éviter tout glissement de sens, et donc toujours «substituer mentalement les définitions à la place des définis». La sûreté de la déduction ne tient pas, ici, au fait qu’elle renvoie à l’évidence. Elle n’est plus éclairée de l’intérieur par l’intuition cartésienne. Elle tient à ceci que les enchaînements mathématiques déploient en leur sein un mécanisme interne de contrôle, une autorégulation, dont le mathématicien doit s’efforcer de découvrir et de manier les principes. La structure axiomatique des systèmes déductifs est alors dessinée.

Le «calcul» de Leibniz

On sait que Leibniz a accompli l’expulsion de l’évidence du champ de la logique et des mathématiques. Cela tient sans doute, ainsi que l’a montré Yvon Belaval dans son livre Leibniz, critique de Descartes , à ce qu’il pratique une autre mathématique que celle de Descartes. C’est un point que nous n’aborderons pas ici (cf. INFINI MATHÉMA- TIQUE, LEIBNIZ, histoire de la LOGIQUE). Indiquons simplement qu’il a posé, dans toute sa généralité formelle, le concept, dont Descartes avait été l’initiateur, de mathesis universalis. Ce projet, qu’il aborde en algébriste, le conduit, du même mouvement, à remanier la logique traditionnelle et à jeter les bases d’un calcul logique dans lequel l’«addition» et le «produit» sont des opérations idempotentes. Dans plusieurs opuscules (cf. en particulier Non inelegans specimen demonstrandi in abstractis ), il s’efforce de présenter sous forme axiomatique les éléments de ce calcul. On a souligné (cf. en particulier La Logique de Leibniz de L. Couturat) que ce remaniement était de portée limitée, en ce qu’il débouchait sur une simple remise en chantier de la logique traditionnelle. Il est vrai. Mais l’essentiel consiste ici dans la généralité des méthodes employées pour obtenir ce résultat limité. Leibniz a dégagé le concept général de «calcul» et le concept général d’opération portant sur des éléments quelconques. En cela, il n’a pas seulement libéré les sciences démonstratives de l’impérialisme de l’intuition; il a aussi libéré leur champ propre. Est accessible à la démonstration, et donc en droit objet des mathématiques, tout domaine du savoir dans lequel il est possible de définir d’une manière univoque des systèmes d’objets et, sur ces systèmes d’objets, des lois d’opérations explicites. Le même mouvement qui arrache les mathématiques à l’impérialisme de l’évidence les arrache à celui de la grandeur. La mathesis conquiert ici son universalité de principe. Cette conclusion est, pour notre propos, essentielle. La question du fondement des mathématiques, pour qui veut rester fidèle à l’esprit leibnizien, ne peut plus consister à dresser le compte des évidences premières et à déterminer les essences simples dont ces évidences donneraient une connaissance immédiate et sans résidu. Il semblerait plutôt qu’elle doive consister à scruter les modes d’enchaînement des énoncés de statut démonstratif, à isoler les opérations fondamentales qui y sont associées, à définir sans ambiguïté les champs d’objets que ces opérations composent, à extraire et à écrire explicitement, avec les règles de démonstration, l’ensemble minimal des hypothèses compatibles et non déductibles les unes des autres utilisées dans la construction des chaînes démonstratives. La non-contradiction est ici la propriété fondamentale à laquelle doivent satisfaire tous les systèmes déductifs. L’instrument de cette recherche consiste en un usage explicite et réglé de la pensée symbolique. L’algèbre devient ainsi une méthode d’analyse permettant d’aborder les problèmes de fondement.

Le pragmatisme du XVIII^e siècle

Or tel n’a pas été, dans l’immédiat, le chemin qu’a suivi l’histoire. Deux siècles séparent Leibniz de Frege. Deux siècles au cours desquels le problème du fondement des mathématiques, tel qu’il nous semble aujourd’hui possible de le poser à partir des recherches leibniziennes, a été recouvert par d’autres problèmes. Il l’a été principalement par l’essor de la mathématique elle-même, par les exigences nées de son investissement croissant dans les sciences de la nature et par l’action en retour exercée, au sein des mathématiques, par les problèmes que cet investissement posait. Pour parler grossièrement, ce fut le triomphe posthume de Newton sur Leibniz. La tâche qu’avaient à affronter les mathématiciens ne fut pas tant de scruter la racine de leurs énoncés que d’en produire de nouveaux, en restant fidèles, au jour le jour pour ainsi dire, à l’exigence, jugée par eux inébranlable, de la non-contradiction. Cette confiance née d’une pratique instruite, cette vérification concordante et constante des énoncés les uns par les autres, dans un système en perpétuelle expansion, contribuaient à constituer une «cité mathématique», lieu des vérités partagées et explicites, où chacun, eu égard aux exigences démonstratives, se trouvait en droit l’égal de tous. Dans ce système théorique en voie de constitution, où les énoncés s’enchaînent, la sécurité des démarches théoriques est éprouvée et vérifiée localement, en tout point du système. Le concept de fondement n’est pas alors un thème mathématique. Assurance pragmatique que l’on trouve chez les maîtres du XVIII^e siècle (Leonhard Euler, Jean d’Alembert, Louis de Lagrange) et qui ne va pas sans une audace opératoire qui, aujourd’hui, nous surprend (cf. par exemple le traitement des séries divergentes).

La rénovation de l’analyse

La rupture de «style» date, on le sait, de la première moitié du XIX^e siècle. Elle est due pour l’essentiel à Carl Friedrich Gauss, à Augustin-Louis Cauchy, à Niels Henrik Abel et à Bernhard Bolzano. Elle affecte principalement l’analyse mathématique et consiste à dégager le domaine (le système des nombres réels) dans lequel les opérations qu’on y effectue sont bien définies. Elle conduit à éliminer de ce système les «infiniment petits» qui faisaient difficulté et à construire l’édifice de l’analyse sur des bases strictement arithmétiques. Dès ce moment se trouvait supprimé, au moins dans la théorie des fonctions, tout recours aux raisonnements fondés sur un appel à l’intuition géométrique. De plus, il était exigé que les concepts les plus complexes de l’analyse fussent édifiés à partir d’un matériau initial suffisamment pauvre pour pouvoir être aisément dominé (le système des entiers naturels). Par là apparaissait une classe de problèmes dont la mise en œuvre devait contribuer à dégager, dans le champ de la mathématique elle-même, le thème du «fondement». En particulier celui-ci: Comment s’assurer de la validité des énoncés constitutifs de la théorie des entiers? Si tout appel à l’intuition géométrique était chassé du corps de l’analyse, ne fallait-il pas aussi s’efforcer de purifier la théorie des entiers, au point de chasser d’elle à son tour tout appel à l’intuition et de l’édifier avec le seul secours de la loi de non-contradiction? Il y a plus. Au sein de la géométrie elle-même devait s’effectuer ce procès de réduction aux règles de la pure logique. L’effort pour démontrer par l’absurde le cinquième postulat d’Euclide devait aboutir à la constitution d’un système théorique non contradictoire, et donc d’une «géométrie» dans laquelle cet énoncé ne fonctionnait plus comme axiome (se reporter aux travaux de Farkas Bolyai, de Nikolaï Ivanovitch Lobatchevski et de Bernhard Riemann, évoqués dans les articles GÉOMÉTRIE, LIE et RIEMANN). Ce résultat ne libérait pas seulement (en ce champ où l’intuition semblait décisive) la géométrie de tout résidu intuitif, il contribuait à ouvrir un champ théorique nouveau: le système des énoncés produits dans une science démonstrative (la géométrie d’Euclide) était pris comme thème explicite d’une recherche portant sur les axiomes et propre à vérifier l’indépendance de l’un d’eux. Ainsi, de l’intérieur, la mathesis commence à produire les formes théoriques de nature à permettre le remaniement du corpus des énoncés qui la composent. Cet effort de remise en forme rendait suspecte la philosophie kantienne des mathématiques. Non seulement, parce qu’il paraissait invalider les présupposés strictement euclidiens de la conception kantienne de l’espace, mais surtout parce qu’il consacrait le primat de la forme logique analytique sur la constructivité synthétique et réglée à l’œuvre dans les champs intuitifs. Kant avait proclamé que la mathématique procède «par construction de concepts». Or il se révèle ici qu’aucun champ intuitif ne manifeste de lui-même les règles a priori d’une telle constructivité.

L’œuvre de Bolzano

L’œuvre de Bolzano représente, en cette première moitié du siècle, un effort théorique explicite pour penser cette configuration de la mathesis. De cette œuvre immense qui, de la logique et des mathématiques à la théologie et à la philosophie politique, couvre un champ très étendu, nous ne retiendrons ici qu’un aspect, simplement son architecture et son projet, tels qu’ils apparaissent dans l’ouvrage fondamental Wissenschaftslehre publié en 1837. Pour Bolzano, une science est un ensemble (Inbegriff ) de propositions vraies. Il semble qu’à ses yeux un tel ensemble doive être ordonné par la relation de «déductibilité». Or une « proposition » doit être soigneusement distinguée, d’une part des expressions linguistiques qui la traduisent, d’autre part des représentations mentales qui l’accompagnent. Une proposition est le pur sens (blosse Sinn ) que l’expression désigne et qui n’offre que les deux possibilités exclusives suivantes: être vrai ou être faux. L’expression «proposition» désigne ainsi dans le discours un élément invariant (le sens, blosse Sinn ) qui demeure immuable à travers l’indéfinie variété des occurrences expressives qui le désignent et des représentations mentales qui l’actualisent. Il possède cette propriété constitutive et elle-même immuable d’être vrai ou faux. La «proposition» ainsi définie a le statut d’une réalité objective, idéale et subsistante. Pour cette raison, Bolzano la nomme «proposition en soi» (Satz an sich ). Il en résulte que la vérité est une propriété qui, ne convenant qu’aux propositions, est indépendante des représentations mentales des hommes. Une «vérité» est une proposition qui a la propriété d’être vraie. Une telle vérité est nommée par Bolzano «vérité en soi» (Wahrheit an sich ). Il en résulte qu’une science est un ensemble ordonné par la déduction de «vérités en soi». Quel peut être alors l’objet d’une «théorie de la science»? C’est de produire à son tour une science établissant les critères de formation et de validité des enchaînements de propositions qui constituent le système des sciences. La «logique» qui élabore ces critères dans la forme exigée est alors le point de départ fondamental de la Wissenschaftslehre. Qu’il y ait là quelque circularité, voilà qui paraît assez clair. Mais l’essentiel n’est pas là. L’essentiel est que, par-dessus la tête de Kant, et au moment même où les mathématiques élaborent les instruments de leur propre restructuration, on renoue, sur ce point du moins, avec la tradition leibnizienne en réaffirmant le primat du logique et de l’analytique. L’essentiel est que le champ théorique où est accessible le problème du fondement est dégagé dans sa pureté, débarrassé des scories grammaticales et mentalistes: le champ propre de la logique, celui des «propositions en soi», apparaît dans sa pleine autonomie comme l’objet d’une science possible. Ne manquons pas ici de jeter vers le vieil Aristote un regard que l’histoire a instruit. Lui aussi avait, en son temps, dégagé le champ de la logique; mais il avait construit un système aux possibilités limitées. L’essor des mathématiques l’avait recouvert. De nouveau maintenant, ce champ reparaît dans une autre configuration de la mathématique, une configuration telle qu’il trouvera le lieu où s’y articuler.

Ajoutons que, dans ce mouvement qui dessine à neuf la figure des mathématiques, Bolzano a su trouver sa place. On lui doit une définition du concept de fonction continue, en tout point comparable à celle de Cauchy. Avant Karl Weierstrass, on lui doit la construction d’une fonction continue non différentiable. On lui doit une démonstration du théorème auquel, avec celui de Weierstrass, son nom est resté attaché: «Tout ensemble infini borné de points possède au moins un point d’accumulation» (Bolzano avait démontré le théorème dans le cas d’une suite infinie bornée et décroissante de nombres). Enfin et surtout, on lui doit un effort pour préciser la nature du matériau de base sur lequel est édifiée l’analyse. Son œuvre posthume Paradoxien des Unendlichen , publiée en 1851, deux ans après sa mort, est à cet égard des plus instructives. Il y dégage le concept d’ensemble et y manie, sans les définir explicitement, le concept d’application biunivoque et celui de classe d’équivalence. Il conçoit qu’un ensemble infini peut être mis en relation biunivoque avec l’une de ses parties strictes. Mais il ne fait pas de cette propriété une définition du concept d’ensemble infini. Pas davantage, faute d’une thématisation claire du concept d’ensemble quotient, il ne songe à définir le concept d’entier naturel comme classe d’équivalence. Pour lui, un nombre demeure enchaînement d’éléments. Il reste que son œuvre témoigne pour la nature des problèmes qui, à la fin de ce demi-siècle, concernaient le statut des théories mathématiques. Au cœur de ces problèmes se posait la question de la relation des mathématiques à une logique qu’il importait de produire. Avec Bolzano, la question des fondements commence à émerger de sa préhistoire. Elle en émerge complètement, au début de notre siècle, après Gottlob Frege et Georg Cantor.

3. La logique mathématique contemporaine

On trouvera ailleurs (cf. CANTOR, FREGE, LOGIQUE MATHÉMATIQUE) l’exposé des travaux de Frege et de Cantor, que nous ne pourrions ici qu’évoquer de la manière la plus insignifiante.

Nous nous contenterons de quelques remarques de caractère épistémologique.

L’arithmétisation de l’analyse

Les œuvres de Frege et de Cantor sont produites dans le même contexte mathématique. L’analyse y est entièrement arithmétisée. Quelques-unes des structures algébriques fondamentales (groupes, anneaux) sont dégagées. Le corpus mathématique contient des régions «canoniques» qui s’offrent comme des systèmes axiomatisés d’énoncés (cf. les leçons de Weierstrass sur la théorie des fonctions telles que nous les connaissons d’après Kossak). Du même mouvement (et dans le champ, au point de départ rigoureusement construit, de l’analyse) se marquent des régions de problèmes, des exigences d’extension (par exemple, traitement des fonctions discontinues les plus générales; problèmes de la représentation d’une fonction arbitraire par un développement en série de Fourier; extension des classes de fonctions analytiques, etc.). Ce qui distingue les œuvres de Cantor et de Frege, c’est d’abord qu’elles ne s’articulent pas au même point de la configuration.

Les recherches de Frege s’articulent sur le point de départ (l’arithmétique) et concernent explicitement le fondement. Rien n’est encore accompli, aux yeux de Frege, si demeure incertain le concept de nombre entier qui, ainsi que l’avait établi Karl Weierstrass et proclamé Leopold Kronecker, constitue le point de départ de la construction de l’analyse. Le problème est donc de produire un système théorique dont la sûreté soit au moins équivalente à celle des régions canoniques du champ mathématique, système dans lequel on puisse définir, sans ambiguïté ni contradictions, le concept d’entier et enchaîner les énoncés de propriétés du domaine d’objets (les entiers) ainsi produit. Ce qu’on appelle le «logicisme» de Frege résulte de la mise en œuvre de cette exigence. Elle l’a en effet conduit à formuler les bases de la logique mathématique. Il ne s’agit plus ici seulement d’un calcul (une extension de l’algèbre) tel que celui qu’avait proposé George Boole vers le milieu du siècle, mais bien davantage d’une théorie axiomatisée qui recouvre pour l’essentiel notre logique des propositions et notre logique des prédicats du premier ordre (cf. FREGE et LOGIQUE MATHÉMATIQUE, chap. 2). Dans l’esprit de Frege, la constitution d’une telle logique devait permettre de reproduire et de dériver, conformément aux règles qu’elle définissait, le corps des propositions de l’arithmétique en une langue formelle d’où toute erreur serait décelable dans la simple forme des écritures. Par là se trouverait résolu le problème des fondements. On sait que Frege n’a réalisé que partiellement ce programme dans son ouvrage Grundgesetze der Arithmetik .

Les recherches de Cantor s’articulent en un point bien déterminé du champ mathématique. C’est afin de déterminer les conditions pour lesquelles les coefficients d’une série de Fourier s’annulent que Cantor a défini, dès 1872, quelques-unes des propriétés (topologiques pour la plupart) des ensembles de points. La généralisation des résultats obtenus sur les ensembles de points devait le conduire à dégager un objet fondamental, le concept d’ensemble abstrait, qui deviendra, jusqu’à sa mort, le thème essentiel de ses recherches. Or la théorie des ensembles (bien que la chose ne soit pas apparue clairement aux yeux des contemporains) s’articulait fortement sur les concepts élaborés par Frege. En particulier, la définition cantorienne des cardinaux est, pour l’essentiel, dans un autre langage, équivalente à la définition du concept de nombre proposée par Frege, bien qu’elle ne mette pas en œuvre un appareil logique élaboré. Ainsi, dans cette configuration que réalisent les mathématiques en ce dernier tiers du XV^e siècle, la même espèce d’être (le concept d’ensemble abstrait pris comme matériau formel de la mathesis ) se trouve désignée deux fois.

Les paradoxes

Il y a plus. Les mêmes problèmes, qui font difficulté dans la construction cantorienne, rendent manifeste l’inconsistance du système frégien. Le concept d’ensemble, pris dans toute sa généralité, engendre des «paradoxes». À tel point qu’il importe de remettre en chantier le sens de l’expression: «l’ensemble des... tels que». Par exemple, dès 1897, Cesare Burali-Forti avait montré que l’expression «l’ensemble de tous les ordinaux» est inconsistante. Cet ensemble, bien ordonné, devrait être isomorphe à l’une de ses vraies sections. Un peu plus tard (1899), Cantor faisait remarquer à Richard Dedekind que l’expression «l’ensemble de tous les cardinaux» désigne, elle aussi, un concept contradictoire. Or les «paradoxes» de cette espèce sont de ceux qu’on ne peut espérer éviter dans le système de Frege. Bertrand Russell, au chapitre X des Principles of Mathematics (1903) et dans un appendice du même ouvrage, devait montrer que la notion, essentielle chez Frege, d’extension d’un concept donne naissance à une contradiction. La classe des hommes n’est pas un homme. N’être pas élément de soi-même est donc, pour une classe, une propriété des plus acceptables. Désignons cette propriété par «P». Ce nom «P» désigne un concept dont l’extension n’est pas vide. Cependant, si nous nommons explicitement cette extension «la classe des X qui satisfait P», nous aboutissons à une contradiction. Frege lui-même a saisi toute la gravité de la situation ainsi créée; il l’a commentée dans l’appendice II du second tome des Grundgesetze en écrivant: «Solatium miseris socios habuisse malorum. Quiconque, dans ses démonstrations, a fait usage des extensions de concepts, des classes, des ensembles est dans le même cas que moi.» Et il ajoutait: «Quelle doit être notre attitude devant cette situation? Allons-nous supposer que la loi du tiers exclu ne s’applique pas aux classes? Ou allons-nous supposer qu’il existe des concepts usuels tels qu’à leur extension ne correspond aucune classe?» On ne pouvait poser plus clairement les problèmes de fondement nés des «paradoxes».

Ainsi l’effort de rigueur qui avait chassé de la mathématique les évidences cartésiennes et le constructivisme kantien se trouvait ici en échec, sur un point décisif, au moment même où, avec la théorie cantorienne et le système frégien, semblaient disponibles à la fois le matériau formel de l’édifice mathématique et l’instrument logique propre à le mettre en œuvre.

Devant cette situation, si on laisse de côté la tentative infructueuse de Frege pour résoudre la difficulté dans son propre système, deux voies distinctes furent dès l’abord ouvertes.

La théorie des types

La première, la plus ambitieuse, fut celle de Russell et de Whitehead dans les Principia Mathematica (cf. RUSSEL, LOGIQUE MATHÉMATIQUE). Elle consiste, pour l’essentiel, à reprendre le projet «logisciste» de Frege, en utilisant un formalisme plus maniable (inspiré de Giuseppe Peano) et en formulant les précautions propres à éviter la rencontre des entités suspectes, telles que «la classe de toutes les classes qui ne sont pas éléments d’elles-mêmes». Ces précautions, Russell les avait déjà proposées dans l’appendice II des Principles of Mathematics , sous le nom de théorie des types. Le principe de la théorie consiste à construire une hiérarchie d’objets. Les objets d’ordre 0 sont les individus (dont le statut est peu précisé). Les relations (ou fonctions) dont les variables sont des individus sont des objets d’ordre 1. Généralement, on appellera «objet d’ordre n + 1» les fonctions et relations dont les variables sont des objets d’ordre inférieur ou égal à n. La précaution est alors la suivante: un objet d’ordre n ne peut être défini que par une fonction d’ordre n + 1. Cette restriction, si elle est prise à la lettre, ne manque pas d’invalider bien des définitions usuelles en analyse (par exemple celle de la borne d’un ensemble de nombres réels). Pour éviter cette conséquence fâcheuse, Russel et Whitehead ont introduit un axiome ad hoc (dit axiome de réductibilité) qui donne la permission de substituer à toute fonction propositionnelle 﨏 (x ) d’une variable individuelle x la matrice f ! (x ), c’est-à-dire une fonction sans quantificateurs, telle que, pour tout x, 﨏 (x ) et f ! (x ) soient équivalentes. On pose ainsi qu’à toute relation entre individus correspond une fonction du premier ordre qui lui est équivalente. Le caractère arbitraire d’un tel axiome, destiné en particulier à permettre de dériver dans le système des Principia les théorèmes fondamentaux concernant le corps des nombres réels, n’a pas manqué de frapper les mathématiciens.

L’axiomatisation de la géométrie

La seconde voie fut intérieure à la théorie des ensembles. L’exemple des Grundlagen der geometrie , publiés par David Hilbert en 1899, fut, sur ce point, décisif. En reconstruisant l’édifice euclidien sur des bases axiomatiques saines, Hilbert avait proposé l’exemple d’un système théorique qui ne devait rien à l’intuition. Les notions qui figurent au point de départ (points, droites, plans) désignent des «objets» abstraits qu’il importe de vider de tout contenu intuitif et qui ne sont définis que par leurs relations réciproques explicitement posées sous forme d’axiomes. D’autre part, Hilbert avait formulé les conditions auxquelles devait obéir un système d’axiomes pour être pleinement satisfaisant: cohérence, indépendance, saturation. L’isomorphisme de l’ensemble de points et de l’ensemble des nombres réels avait convaincu Hilbert, qui se donnait la non-contradiction de l’arithmétique, de la cohérence du système (la «géométrie») ainsi construit (cf. les deux derniers chapitres de l’article HILBERT).

Zermelo et la théorie axiomatique des ensembles

En 1908 (Untersuchungen über die Grundlagen der Mengenlehre ), Ernst Zermelo s’est efforcé de construire un système axiomatique propre à éliminer de la théorie cantorienne (dite «naïve») les régions inquiétantes (cf. théorie des ENSEMBLES - Théorie axiomatique des ensembles). D’abord les «classes paradoxales» (telles que l’ensemble de tous les ordinaux, l’ensemble de tous les ensembles qui ne sont pas éléments d’eux-mêmes, etc.). Projet d’élimination qui conduit à définir à la racine le matériau sur lequel seront construits les objets de la théorie. On se donne au point de départ un domaine d’objets abstraits, des «individus» (Zermelo dit simplement «des choses»: Dinge ) que l’on représente par des lettres a , b,... ; sur ce domaine 阮, on définit deux relations: d’abord, l’égalité a = b signifie que les symboles a et b désignent le même objet de 阮; ensuite, une relation primitive notée « 捻», définie sur 阮. Si cette relation est vérifiée par deux éléments a et b de 阮 et si elle s’écrit a 捻 b , on dira de b qu’il est un ensemble et de a qu’il est un élément de b. Cette relation n’est pas, en général, transitive.

Les axiomes de Zermelo

Sept axiomes sont alors introduits, dont la fonction est de préciser les espèces d’objets de 阮 qui sont des ensembles, la manière de les obtenir et les relations qui les unissent.

I. Axiome de détermination (Bestimmtheit, nous disons aujourd’hui axiome d’extensionnalité): Si tout élément d’un ensemble A est élément d’un ensemble B, A = B. Autrement dit, un ensemble est défini par la donnée de ses éléments.

II. Axiome des ensembles élémentaires (Elementare Mengen ): Il existe un ensemble («fictif», ajoute Zermelo) qui ne contient aucun élément, l’ensemble vide 歷. Si a est un objet quelconque de 阮, existe l’ensemblea qui ne comporte d’autre élément que a. Si a et b sont des objets de 阮, existe l’ensemblea ,b dont les éléments sont a , b à l’exclusion de tout objet x distinct de a et de b. III. Axiome de séparation (Aussonderungsaxiom ): Si la fonction proportionnelle P(x ) est définie pour tous les éléments d’un ensemble M, alors existe le sous-ensemble de M qui a pour éléments précisément les x qui satisfont P.

IV. Axiome de l’ensemble puissance (Potenzmenge ): À tout ensemble E correspond l’ensemble 戮(E) qui a pour éléments les sous-ensembles de E.

V. Axiome de l’union (Vereinigung ): À tout ensemble E correspond l’ensemble 聆(E) qui a pour éléments tous les éléments des éléments de E; E est dans ce cas un ensemble dont les éléments sont des ensembles.

VI. Axiome de choix (Auswahl ): Si E est un ensemble dont les éléments sont des ensembles non vides et disjoints, alors 聆(E) contient au moins un ensemble M qui possède un et un seul élément commun avec tout élément de E.

VII. Axiome d’infinité (Unendliches ): Dans le domaine 阮 existe au moins un ensemble Z contenant l’ensemble vide et tel que, pour tout élément a lui appartenant, lui appartient aussi l’élémenta, c’est-à-dire l’ensemble dont le seul élément est a .

Deux axiomes demandent ici à être examinés. Le premier est l’axiome III, qui résout, à l’intérieur de l’axiomatique proposée, le problème des classes «paradoxales». Le second est l’axiome VI, qui, par une autre voie, va faire rebondir le problème du fondement.

Sur le premier point, la difficulté était née de ce que Cantor considérait que toute fonction proportionnelle P(x ) bien définie «donne naissance» à l’ensemble des x qui satisfont P. Zermelo précise que P(x ) sépare d’un ensemble préalablement donné M le sous-ensemble de M qui satisfait P. Cette précaution entraîne une double conséquence: d’une part, l’élimination des paradoxes «sémantiques», puisque la propriété P ne peut être définie qu’en utilisant les relations définies sur le domaine 阮; d’autre part, l’élimination des ensembles «circulaires». En particulier, le théorème X de Zermelo énonce que «tout ensemble E possède au moins un élément E⁰ qui n’est pas un élément de E». Il s’ensuit que le domaine 阮 n’est pas un ensemble. En effet, soit un ensemble donné E et la propriété (bien définie, pour Zermelo) x 殮x . Alors existe le sous-ensemble E⁰ de E vérifiant cette propriété. Mais E⁰ ne peut être élément de lui-même, sinon E⁰ comporterait un élément (E⁰ précisément) tel que x 捻x ... Il ne peut être a fortiori élément de E. Or E⁰ est certainement dans 阮. Il en résulte que 阮 E, quel que soit E. Ainsi se trouvent éliminés les ensembles «trop grands», tels que «l’ensemble de tous les ensembles». Ce qui suffit, ajoute Zermelo, à renvoyer l’antinomie de Russel.

L’axiome de choix

L’axiome VI, axiome de choix, demande examen. Cette proposition (que Russell et Whitehead énoncent d’une manière équivalente, dans les Principia , sous le nom d’axiome multiplicatif: Le produit cartésien d’une classe d’ensembles non vides est non vide) pose l’existence d’un ensemble, mais ne précise pas les moyens de le construire. Elle joue cependant, dans la théorie, un rôle fondamental. Zermelo l’avait utilisée (sans la nommer explicitement «axiome»), en 1904, lorsqu’il avait démontré pour la première fois que «tout ensemble peut être bien ordonné». C’était là un énoncé que Cantor avait admis (en même temps que l’hypothèse du continu). Il avait espéré, mais sans y parvenir jamais, en produire une démonstration. Ce théorème lui était indispensable pour obtenir la comparabilité des cardinaux transfinis. En énonçant explicitement l’axiome de choix, Zermelo soulève un problème qui devait faire couler beaucoup d’encre, et introduire, parmi les mathématiciens, un clivage dont l’enjeu paraissait n’être rien moins que le statut des objets mathématiques. Que signifie admettre l’existence de l’ensemble que définit la «fonction de choix» qui à tout ensemble d’une classe infinie d’ensembles non vides fait correspondre un élément et un seul choisi dans chacun d’eux? Plus généralement, de quels critères dispose-t-on pour être assuré de l’«existence» d’un être mathématique? Suffit-il que son concept soit non contradictoire? Ou bien faut-il, de plus, exhiber une méthode permettant de le construire, à partir d’un matériau déjà disponible?

Cette question faisait rebondir (en une région essentielle des mathématiques) le problème du fondement. Les mathématiciens avaient l’impression d’être attelés à un moulin dont la nature était d’engendrer des difficultés logiques. Si l’on admettait la théorie des types, il fallait, pour intégrer l’essentiel de l’analyse, admettre de surcroît l’«axiome», arbitraire, de réductibilité. Si l’on pensait échapper aux difficultés par l’Aussonderungsaxiom , on se trouvait devant l’exigence d’admettre le système dans lequel cet axiome fonctionnait et qui comportait l’axiome de choix. Et ces problèmes naissaient en une situation mathématique bien définie, dans laquelle la source du litige, la théorie cantorienne (naïve) des ensembles, était déjà fortement intégrée au corps de la mathématique. La situation ainsi créée était d’autant plus désagréable que l’axiome de choix devait se révéler comme indispensable à la démonstration d’une classe étendue de théorèmes, aussi bien dans le champ de l’analyse ou de la topologie générale que dans celui de la logique (cf. la démonstration du théorème de complétude sémantique du «calcul» des prédicats du premier ordre, in LOGIQUE MATHÉMATIQUE, chap. 2). De plus, de nombreux énoncés, d’aspect inoffensif et de fonction fondamentale (par exemple les énoncés de maximalité), devaient se montrer équivalents à l’axiome de choix.

Cette situation est aujourd’hui dénouée. D’une part, en 1938, Kurt Gödel a démontré que, si la théorie des ensembles est cohérente sans l’axiome de choix ni l’hypothèse du continu, elle le demeure lorsqu’on adjoint ces deux énoncés au nombre de ses thèses initiales. De plus, en 1963, Paul J. Cohen a produit, pour l’axiome de choix et pour l’hypothèse du continu, une démonstration d’indépendance. Résultats décisifs, aussi importants que le fut en son temps la production des géométries non euclidiennes, en ceci qu’ils mettent un terme aux «inquiétudes métaphysiques» en donnant la preuve du caractère essentiellement relatif de tout système axiomatique.

Les problèmes d’existence: intuitionnisme et formalisme

En 1908 cependant, de tels résultats ne pouvaient être atteints. En partie par suite de l’absence de moyens «métamathématiques» propres à préciser le concept d’«existence» mathématique, ou celui, plus général encore, de «propriété bien définie» (en cela l’Aussonderungsaxiom fait difficulté chez Zermelo). Mais, plus généralement encore, parce que l’axiomatique de Zermelo ne devint pas immédiatement, à son tour, un «objet» thématique, c’est-à-dire un thème de recherches logiques portant sur le statut des axiomes et leurs relations. Elle devait le devenir peu à peu, après 1920.

En attendant, les «écoles», sur ce point, se différencient. Les justifications produites de ces différences restent, le plus souvent, extra-mathématiques, ou du moins ne peuvent être formulées dans la stricte langue mathématique. Elles semblent exprimer, avec les préférences philosophiques des mathématiciens, leur style spécifique de travail, leur mode propre d’insertion dans le champ de la pratique mathématique.

Les uns professent un empirisme tempéré. Ainsi Émile Borel, et, d’une façon générale, l’école des analystes français, René Baire, Henri Lebesgue, à l’exception de Jacques Hadamard. Les ensembles admissibles doivent être «constructibles», les fonctions admissibles doivent être «calculables», au moins asymptotiquement. À la rigueur (pour Lebesgue), les fonctions doivent pouvoir être «nommées», c’est-à-dire désignées par un nombre fini de mots exprimant un ensemble de conditions non contradictoires (par exemple l’ensemble non mesurable B, obtenu par Lebesgue au moyen du procédé du «crible», est «nommable» mais non «constructible»; il en est de même de la fonction égale à 0 si la constante d’Euler est rationnelle et à 1 si elle est irrationnelle). On remarquera que les concepts utilisés («constructible», «calculable», «nommable») restent encore flous: ils ne sont pas définis par de stricts critères logiques. Le mathématicien mesure leur portée en se fiant à son intuition de praticien.

D’autres vont plus loin encore sur le chemin des restrictions. Ainsi Luitzen J. Brouwer, le fondateur de l’«intuitionnisme», et, partiellement, Hermann Weyl. Si l’on débarrasse l’«intuitionnisme» de ses présupposés philosophiques (d’origine kantienne, semble-t-il, mais avec un aspect psychologiste), il en reste l’idée de l’autonomie des objets mathématiques par rapport à la logique. La vérité d’un énoncé mathématique ne dépend pas, fondamentalement, de l’enchaînement dans lequel il s’insère. Cet enchaînement n’est guère qu’un véhicule. La vérité de l’énoncé doit être vérifiée en un acte sui generis qui livre, en original, le mode de constitution de l’objet en sa spécificité. Cette exigence retentit sur la logique elle-même. Le principe du tiers exclu ne peut être admis dès qu’on prétend l’appliquer aux ensembles infinis, puisqu’il faudrait alors, pour un élément quelconque de l’ensemble, pouvoir disposer, dans l’intuition, d’un critère actuel permettant de décider si, oui ou non, il appartient à l’ensemble. De là, deux conséquences. Paradoxalement, d’abord, l’affirmation de l’autonomie du mathématique par rapport au logique, manifestée par l’inadéquation du tiers exclu à l’infini (c’est-à-dire à l’essentiel, en mathématiques), va exiger une refonte de la logique classique. La tâche sera de construire un calcul logique dans lequel on admettra au nombre des thèses initiales un énoncé plus faible que le principe du tiers exclu et dans lequel on produira des critères de «démontrabilité» plus stricts ^{[cf. LOGIQUE MATHÉMATIQUE]}. Mais, d’autre part, il importera de refondre tout l’édifice des mathématiques et n’y admettre que les raisonnements conformes aux exigences intuitionnistes. Ce qui ne va pas, on le sait, sans complications ni amputations: exclusion des raisonnements fondés sur l’usage de l’induction transfinie, par exemple, ramification des concepts «classiques» (deux concepts de convergence, plusieurs concepts de dénombrabilité, etc.).

Les progrès décisifs devaient, sur ce point, revenir à l’école, dite «formaliste», des mathématiciens qui suivirent l’exemple de David Hilbert et travaillèrent à sa suite: outre Hilbert lui-même, Paul Bernays, Wilhelm Ackermann, John von Neumann. Trois idées fondamentales règlent leur pratique:

– La non-contradiction est un critère suffisant d’existence.

– La «pensée» mathématique n’a d’existence que dans les systèmes d’écritures qui la manifestent; ce qui implique, d’une part, que les «objets» ne sont pas des «réalités en soi» et, d’autre part, que le contenu de conscience qui s’attache à eux, les intuitions, qui accompagnent les maniements de symboles et qui sont propres à chaque mathématicien, sont mathématiquement inertes (élimination sans compromis de tout psychologisme, de tout «mentalisme»: sur ce point, la tradition frégienne est respectée).

– Position, à l’égard du champ mathématique, d’exigences d’intégration maximale; en particulier refus, selon l’expression de Hilbert, de renoncer au «paradis cantorien», d’amputer la mathématique du corps d’énoncés que la construction cantorienne avait permis d’obtenir. La tâche théorique fondamentale n’est pas ici de produire les écritures adéquates: la formalisation ; bien qu’elle soit parfois difficile, c’est là une tâche essentiellement technique. Le projet en avait été partiellement réalisé par Hilbert lui-même, dès 1899, dans les Fondements de la géométrie , pour un champ bien déterminé. Suivre cet exemple pour la théorie des ensembles n’offrait pas de difficultés insurmontables. Et, de fait, de A. A. Fraenkel à Bernays-Gödel en passant par von Neumann, entre 1920 et 1938, les axiomatiques de la théorie des ensembles devaient trouver les modalités de leur expression formalisée. Le point décisif, du côté de l’intérêt théorique, était l’admission de la non-contradiction comme critère suffisant d’existence mathématique. Obtenir, pour un système d’énoncés mathématiques, une démonstration de non-contradiction devenait alors la tâche théorique essentielle sans la réalisation de laquelle on ne pourrait raisonnablement parler de l’«existence» des «êtres» mathématiques considérés dans le système. C’était une situation au plus haut point inconfortable: ou bien on se pliait aux exigences draconiennes des intuitionnistes (quitte à amputer la mathématique, quitte à compliquer les raisonnements classiquement les plus élémentaires), ou bien il convenait de produire les moyens appropriés et mathématiquement admissibles de mettre en chantier le problème de la non-contradiction. Il importe de remarquer que, dans cet effort de réalisation du programme hilbertien, d’où devaient sortir les méthodes de la «métamathématique» moderne, la leçon de Brouwer n’a cependant pas été perdue. La langue de la «métamathématique», cette langue dans laquelle il est parlé des énoncés et des démonstrations mathématiques, cette langue qui véhicule les expressions qui traduisent la théorie de la démonstration, ne doit mettre en œuvre que des procédés finitistes, à la rigueur admissibles par les intuitionnistes. Les raisonnements arithmétiques utilisés en ce champ sont astreints à la seule considération des entiers finis, préalables à toute formalisation. Le raisonnement «par l’absurde» en est exclu et un assemblage de signes ne peut y être dit exister que par l’indication d’un procédé constructif. Ainsi une «mathématique minimale» offrant toute garantie de sécurité apparaissait comme l’instrument permettant la mise en œuvre d’un programme maximal destiné à assurer, croyait-on, la non-contradiction des pièces maîtresses de l’édifice mathématique, et à y permettre par là l’existence d’«êtres» non constructibles.

L’«échec» des méthodes finitistes

Or l’usage des méthodes finitistes devait produire précisément le contraire du résultat que Hilbert en attendait. En 1931, Gödel devait démontrer l’incomplétude de l’arithmétique formalisée supposée 諸-cohérente. L’usage des méthodes finitistes permet de construire dans ce système un énoncé qui n’y est ni dérivable ni réfutable. D’où cette conséquence décisive (et qui mettait fin aux espoirs hilbertiens): impossibilité de démontrer, par des procédés finitistes, la non-contradiction de l’arithmétique et de toute théorie la contenant; et, plus généralement, impossibilité de démontrer la non-contradiction d’un système formel à l’aide des seules ressources qu’il contient lui-même. Ainsi, par-delà Hilbert, prenait fin le projet logiciste que donnait Frege dans les Grundgesetze. Non point en raison de «paradoxes» dont on pouvait espérer s’évader moyennant des précautions adéquates, mais en raison d’une limitation essentielle qui semblait tenir à la fois à la nature des méthodes exigées pour une formulation correcte et par celle des champs d’objets que ces formulations concernaient. Une «grande logique» s’avérait impossible, c’est-à-dire une logique suffisamment forte pour qu’on puisse, à l’intérieur des procédures qu’elle définit, assurer la pleine sécurité de ses démarches. Les problèmes de «fondement» paraissaient par là, et pour longtemps, relativisés.

Cependant, on ne peut nommer «échec» un résultat qui témoigne pour la nature profonde du champ des objets qu’il concerne. C’est l’essor de la métamathématique qui a produit les théorèmes de limitation interne, restreignant par là le domaine où l’on peut légitimement poser les problèmes de fondement. De plus, cet essor a produit un complexe de concepts et de méthodes de nature à préciser et à affiner les instruments théoriques propres à dégager et à dominer les structures à l’œuvre dans les textes démonstratifs. Les concepts de système formel, de modèle se sont dégagés eux-mêmes comme objets d’investigation mathématique (cf. LOGIQUE MATHÉMATIQUE - Théorie des modèles), donnant lieu à l’investissement, et parfois au remaniement de structures algébriques fondamentales. Plus que la juridiction, peut-être trop attendue, d’une logique absolue sur la mathématique, la mise en œuvre, par des méthodes mathématiques spécifiques, du problème des fondements a révélé l’indéfinie applicabilité de la mathématique sur elle-même, et la productivité réglée, mais en droit imprévisible, que cette applicabilité engendre.

Encyclopédie Universelle. 2012.